apuntes_fing
Introducción a la Teoría de la Información
Índice
Tema 1 - Entropía, información conjunta, divergencia
Tema 2 - Procesos estocásticos y cadenas de Markov
Tema 3 - Codificación de fuentes
Tema 4 - Propiedad de Equipartición Asintótica
Tema 5 - Codificación de canal
Tema 6 - Entropía diferencial
Tema 7 - Análisis Espectral
Tema 8 - Canal Gaussiano
Tema 9 - Rate Distortion
index

Entropía diferencial

Introducción

Def. Variable Aleatoria:

Let X be a random variable with cumulative distribution function . If is continuous, the random variable is said to be continuous.

Let when the derivative is defined. If , is called the probability density function for X.

The set where is called the support set of X.

Definición

Pasted image 20230531143213.png

Ejemplos

Distribución uniforme

Nota

The probability density function of the continuous uniform distribution is:

So, if , f(x) = 1/a from 0 to a and 0 elsewhere.

Pasted image 20230531143315.png

Distribución normal

Pasted image 20230531143325.png

AEP

Pasted image 20230531143351.png

Donde

Nota

Pasted image 20230624154144.png

Pasted image 20230531143402.png

Algunas observaciones

Pasted image 20230531143423.png

Entropía diferencial y discreta

Pasted image 20230531143449.png
Pasted image 20230531143457.png

Teorema ( vs )

Pasted image 20230531143620.png

Ejemplo

Pasted image 20230531143635.png

Otro ejemplo

Pasted image 20230624155504.png

Entropía diferencial conjunta y condicional

Pasted image 20230531143701.png
(soporte conjunto, de x e y)

Pasted image 20230531143709.png

Pasted image 20230531143719.png

Entropía dif. relativa e Información mutua

Pasted image 20230531143743.png

Pasted image 20230531143758.png

Definición general de información mutua

Pasted image 20230531143904.png

Pasted image 20230531143915.png
Refinando P y Q se consigue una sequencia monótonamente creciente
que tiende a .

Pasted image 20230531143924.png

Pasted image 20230531143936.png

Pasted image 20230531143946.png

Propiedades

Pasted image 20230531154643.png

La distribución normal maximiza h para varianza dada

Entropía de una distribución normal multivariada

Pasted image 20230624160011.png

Pasted image 20230624160026.png

Teorema

Pasted image 20230531162953.png

Pasted image 20230531163001.png

Table Of Contents
Entropía diferencial
Def. Variable Aleatoria:
Definición
AEP
Algunas observaciones
Entropía diferencial y discreta
Entropía diferencial conjunta y condicional
Entropía dif. relativa e Información mutua
Definición general de información mutua
Propiedades
La distribución normal maximiza h para varianza dada
Entropía de una distribución normal multivariada
Teorema